批量归一化（Batch Normalization，常简称 BN）：一种用于深度神经网络训练的技术，在每个小批量（mini-batch）上对某层的激活值进行标准化，并通过可学习的缩放与平移参数恢复表达能力，从而加速收敛、稳定训练、减轻梯度问题。常见于卷积网络与全连接网络中。（也可泛指“对批数据做归一化”的更宽泛用法，但最常用的是上述深度学习方法。）
/bætʃ ˌnɔːrmələˈzeɪʃən/
batch 源自表示“一批/一组”的用法；normalization 来自 normal（“正常的/标准的”）+ -ize（动词化）+ -ation（名词化），意为“使之标准化/归一化”。组合起来即“对一批数据进行归一化”。在深度学习语境中，这个术语因 2015 年 Ioffe 与 Szegedy 提出的训练技巧而广泛流行。
Batch normalization helps the network train faster.
批量归一化能帮助网络训练得更快。
When batch normalization is placed after the convolution and before the activation function, it often stabilizes training and allows a larger learning rate without divergence.
当把批量归一化放在卷积层之后、激活函数之前时，它常能稳定训练，并在不发散的情况下允许使用更大的学习率。
Select Language